旅botミニを公開しました 5.応用サンプル1編
旅botミニの続きです。
まず最初になのですがご案内です。。
旅botミニ @mfukushim/map-traveler-mcp につけた画像生成APIの一つのPixAIのAPIなのですが、先週末頃から何かエラーが出てうまくつながらなくなってます。。PixAI社に問い合わせているのですが今のところ返事がなく状況がわかっていません。とりあえず画像生成まで使いたい場合はStablility.ai社のAPIを使ったほうがよさそうです(SDXLベースなので表示が微妙ですが。。)
現在対応として、ローカルのComfyUIのAPIを旅botミニにつなげられるように調整中です。早ければ今週末出来るかな。。出来たとしてもComfyUIのAPIまでつなぐのでさらに設定の敷居が上がります(Noteの読者なら心配はないレベルと思いますが)
まぁうまくつながれば画像生成部は自由にいじれるようになるので今より好きな絵が出せるようになるかもです。→上記PixAIのAPIトラブルはかなり長引いてましたがなんとか解決したようです。Discordでの日本語サポートの方には対応連絡とかご配慮いただきました。ありがとうございます!
現時点 ComfyUI APIも接続出来てますので、別途接続解説を上げる予定です(ただComfyUIのある程度の理解が前提になります)
ご注意
旅botミニは旅botとして旅を遊ぶ機能もありますが、機能そのものは「GoogleMap API(住所確認、ルート生成、Street View取得)+画像生成によるシーン生成+SNSポスト機能をLLMに接続するMCPサーバー」です。Google MapをLLMに接続して、地理環境を提供する小さなシミュレーション環境として使えます。
「AIに足を付けてみる」みたいなツールでもあります。
それで応用に小さなミニゲームアプリを作ってみました。
当初はリアルタイム移動で東京をダンジョンと見立てて移動するRPG(真・女神転生みたいなの)にならないかと思ったのですが、リアルタイムにすると全然もっさりになるしゲームデザインセンスがないのでバトルも全然つまんなかったのです。。
微妙かつ重かった。。
そこで、旅botミニにステップ移動モードというのを追加して、すごく単純化しました。
コンボイにデストロンの秘密文書を渡そう
それでは、ストーリーの設定をご説明させていただきます：
あなたはトランスフォーマーを支援するエージェントです。横浜駅から東京駅にいるオプティマス・プライムのもとへ、デセプティコンの機密文書を運んでいます。道中では、車に化けたデセプティコンの戦士たちがあなたを捕らえようと狙っています。無事に東京駅に到着し、オプティマス・プライムに機密文書を届けなければなりません。
まず、現在地を横浜駅に設定します。
Claude Desktopで追加シナリオ carBattle.txtを実行("moveMode":"skip"を設定)
新横浜ラーメン博物館へ(目的地までのランダムの位置で一旦止まるルール)
車はいない
バトルはジャンケンにしました
画像は旅botのままです。何かプロンプトを混ぜることも考えたのですがZorkみたいに空想したほうがよい気がしたので。
勝利。そのまましばらく進んだ。
一度に遠くには進めない
写真に車はないが、付近の建物情報にトヨタ販売店があった
ゲームオーバー
まぁ自分のゲームセンスだとこんなところが限度です。。
でも作りながら「雑誌見ながらBASICでtiny StarTrek」を入力してた気分になりました(正確にはtiny StarTrekが流行った頃にはBASICが動くPCは持たなかったです。書籍のソースを何度も読んでどんな画面になるだろうとワクテカしてました)
地図空間はAIと人が対話するには丁度良い複雑さ
地図による地形情報はAIと遊ぶには非常によい複雑さだと思っています。
一般的な土地・地域情報は人もAIも十分持っている
街や都市が持つ一般常識的な特性は人もAIも十分持っている
本当に細かい情報は人もAIも持たない。それを地図情報が裁定できる。
東京駅、横浜駅みたいな代表的ランドタワーだけでなく、一般常識の範囲の小さめな土地情報もAIは持ってます。
Google Map APIをアクセスしなくてもこの辺の駅が近いことは知っている
街についての一般常識も人とAIは十分に持っています。商業地ならどこかにレストランは近いだろうし、住宅地にはどこかにコンビニがあるだろうという知識も共有できています。
でも、今いるカドを曲がったら何の店があるかは人もAIも知りません。そこまで細かい地理情報はAIだって素では持ちません。なので「わからない。でも何があるんだろうね」という予想の相談も成立します。
VRなどで作られたバーチャル空間やゲーム空間では、作った人の方は中の構造を知っていてもAIには素ではその場所の知識はありません。AIはRAGみたいなので固有知識を設定するか、想起RAGのような形で体験情報を集約しないと「一緒に考える」という遊べる立ち位置にはしにくいと考えています。
その意味で地図空間は事前準備なしに共有に使える知識が多量にあり、AIと遊ぶには丁度よい複雑さだと思っています。
人にもAIにも既知の問題を試すのに丁度よく、
人にもAIにも未知の問題(論理を駆使しても答えが導出不可能な問題)を試すのにも丁度よい。そして地図情報で答え合わせできる。
こんな面白い環境は珍しいです。そしてこの手の問題は現実の世界に頻繁に存在します。
知性は論理ではない。論理では解けない問題の扱い方の性能の違い。こういうベンチマークもきっとLLMに必要ですね。
AIと共有した空間で遊ぶというとClaudeだとPC空間内のComputer Use、文書空間に限定するとProjectsやChatGPTのCanvasなど、実用方向のアプローチはいろいろあります(かなり前のアプローチだとOpenAIのUniverseとか面白そうだったのですが一方でベータを試したら厳しかった気も)
デスクトップPCをAIの自由にさせるというのは私も一時期考えたのですが、公式がやってくれるならそっちを見守っておこうと思います。
仮想PCとかで完全分離した状態なら結構面白いと思うのですが思ったように仕事させるのは大変かもしれませんね。
応用案については、もう一つ変わったものの案があり検討中です。
また一ひねりいるので出来上がるまでしばらくかかると思いますが。
追記:
応用サンプルcarBattle.txtですが最後まで東京駅に行き着けるのかは試していません。ゲームバランス微妙かもしれませんがClaude Projectsでシナリオは作り直せますのでやる人いたらプロンプトをいろいろ調整してみてください。
Noteの自分の記事より転記 https://note.com/marble_walkers/n/n3c86edd8e817